最近已扩展了最小方形聚类（MSSC）或K-均值类型聚类的最小总和，以利用每个群集的基数的先验知识。这种知识用于提高性能以及解决方案质量。在本文中，我们提出了一种基于分支和切割技术的精确方法，以解决基数受限的MSSC。对于下边界的例程，我们使用Rujeerapaiboon等人最近提出的半决赛编程（SDP）放松。 [Siam J. Optim。 29（2），1211-1239，（2019）]。但是，这种放松只能用于小型实例中的分支和切割方法。因此，我们得出了一种新的SDP松弛，该松弛随着实例大小和簇的数量更好。在这两种情况下，我们都通过添加多面体切割来增强结合。从量身定制的分支策略中受益，该策略会实施成对的约束，我们减少了儿童节点中出现的问题的复杂性。相反，对于上限，我们提出了一个本地搜索过程，该过程利用在每个节点上求解的SDP松弛的解。计算结果表明，所提出的算法在全球范围内首次求解了大小的现实实例，比通过最新精确方法求解的算法大10倍。
translated by 谷歌翻译
最小的平方和群集（MSSC）或K-Means型聚类，传统上被认为是无监督的学习任务。近年来，使用背景知识来提高集群质量，促进聚类过程的可解释性已成为数学优化和机器学习研究的热门研究课题。利用数据群集中的背景信息的问题称为半监督或约束群集。在本文中，我们为半监控MSSC提供了一种新的分支和绑定算法，其中背景知识被包含为成对必须 - 链接和无法链接约束。对于较低的界限，我们解决了MSSC离散优化模型的Semidefinite编程宽松，并使用了用于加强界限的纤维平面程序。相反，通过使用整数编程工具，我们提出了将K-Means算法适应受约束的情况。这是第一次，所提出的全局优化算法有效地管理，以解决现实世界的情况，最高可达800个数据点，具有必要的必须 - 链接和无法链接约束以及通用数量的功能。这个问题大小大约比最先进的精确算法解决的实例大约四倍。
translated by 谷歌翻译
Large language models (LLMs) have been shown to be able to perform new tasks based on a few demonstrations or natural language instructions. While these capabilities have led to widespread adoption, most LLMs are developed by resource-rich organizations and are frequently kept from the public. As a step towards democratizing this powerful technology, we present BLOOM, a 176B-parameter open-access language model designed and built thanks to a collaboration of hundreds of researchers. BLOOM is a decoder-only Transformer language model that was trained on the ROOTS corpus, a dataset comprising hundreds of sources in 46 natural and 13 programming languages (59 in total). We find that BLOOM achieves competitive performance on a wide variety of benchmarks, with stronger results after undergoing multitask prompted finetuning. To facilitate future research and applications using LLMs, we publicly release our models and code under the Responsible AI License.
translated by 谷歌翻译
机器学习，特别是深度学习方法在许多模式识别和数据处理问题，游戏玩法中都优于人类的能力，现在在科学发现中也起着越来越重要的作用。机器学习在分子科学中的关键应用是通过使用密度函数理论，耦合群或其他量子化学方法获得的电子schr \“ odinger方程的Ab-Initio溶液中的势能表面或力场。我们回顾了一种最新和互补的方法：使用机器学习来辅助从第一原理中直接解决量子化学问题。具体来说，我们专注于使用神经网络ANSATZ功能的量子蒙特卡洛（QMC）方法，以解决电子SCHR \ “ Odinger方程在第一和第二量化中，计算场和激发态，并概括多个核构型。与现有的量子化学方法相比，这些新的深QMC方法具有以相对适度的计算成本生成高度准确的Schr \“ Odinger方程的溶液。
translated by 谷歌翻译
基于单眼的道路检测方法主要基于机器学习方法，依靠分类和提取精度以及外观，照明和天气变化。传统方法将预测引入条件随机字段或马尔可夫随机场模型中，以改善基于结构的中间预测。这些方法是基于优化的，因此资源很重且缓慢，使其不适合实时应用。我们提出了一种方法，可以通过具有基于超级像素的机器学习功能的本地专家的随机森林分类器来检测和细分道路。随机森林从预先训练的卷积神经网络-VGG-16中吸入机器学习的描述符。这些功能还集中在各自的超级像素中，从而使本地结构保持连续。我们将算法与基于Nueral网络的方法和传统方法（基于手工制作的功能）进行了比较，在结构化的道路（Camvid和Kitti）和非结构化的道路数据集上进行了比较。最后，我们介绍了一个带有1000个带注释的图像的道路场景数据集，并验证我们的算法在非城市和农村道路方案中效果很好。
translated by 谷歌翻译
我们研究了机器学习（ML）分类技术的误差概率收敛到零的速率的性能。利用大偏差理论，我们为ML分类器提供了数学条件，以表现出误差概率，这些误差概率呈指数级消失，例如$ \ sim \ exp \ left（-n \，i + o（i + o（n）\ right）$，其中$ n $是可用于测试的信息的数量（或其他相关参数，例如图像中目标的大小），而$ i $是错误率。这样的条件取决于数据驱动的决策功能的累积生成功能的Fenchel-Legendre变换（D3F，即，在做出最终二进制决策之前的阈值）在训练阶段中学到的。因此，D3F以及相关的错误率$ $ $取决于给定的训练集，该集合假定有限。有趣的是，可以根据基础统计模型的可用信息生成的可用数据集或合成数据集对这些条件进行验证和测试。换句话说，分类误差概率收敛到零，其速率可以在可用于培训的数据集的一部分上计算。与大偏差理论一致，我们还可以以足够大的$ n $为高斯分布的归一化D3F统计量来确定收敛性。利用此属性设置所需的渐近错误警报概率，从经验上来说，即使对于$ n $的非常现实的值，该属性也是准确的。此外，提供了近似错误概率曲线$ \ sim \ sim \ sim \ sim \ exp \ left（-n \，i \ right）$，这要归功于精制的渐近导数（通常称为精确的渐近学），其中$ \ zeta_n $代表$ \ zeta_n $误差概率的大多数代表性亚指数项。
translated by 谷歌翻译
可激发的光电设备代表了在神经形态（脑启发）光子系统中实施人工尖峰神经元的关键构件之一。这项工作介绍并实验研究了用谐振隧穿二极管（RTD）构建的光电 - 光学（O/E/O）人工神经元，该神经元（RTD）耦合到光电探测器作为接收器和垂直腔表面发射激光器作为发射机。我们证明了一个明确定义的兴奋性阈值，在此上面，该神经元在该神经元中产生100 ns的光学尖峰反应，具有特征性的神经样耐受性。我们利用其粉丝功能来执行设备中的重合检测（逻辑和）以及独家逻辑或（XOR）任务。这些结果提供了基于RTD的Spiking光电神经元的确定性触发和任务的首次实验验证，并具有输入和输出光学（I/O）终端。此外，我们还从理论上研究了拟议系统的纳米光子实施的前景，并结合了纳米级RTD元素和纳米剂的整体设计。因此，在未来的神经形态光子硬件中，证明了基于RTD的综合兴奋节点对低足迹，高速光电尖峰神经元的潜力。
translated by 谷歌翻译
量子哈密顿学习和量子吉布斯采样的双重任务与物理和化学中的许多重要问题有关。在低温方案中，这些任务的算法通常会遭受施状能力，例如因样本或时间复杂性差而遭受。为了解决此类韧性，我们将量子自然梯度下降的概括引入了参数化的混合状态，并提供了稳健的一阶近似算法，即量子 - 固定镜下降。我们使用信息几何学和量子计量学的工具证明了双重任务的数据样本效率，因此首次将经典Fisher效率的开创性结果推广到变异量子算法。我们的方法扩展了以前样品有效的技术，以允许模型选择的灵活性，包括基于量子汉密尔顿的量子模型，包括基于量子的模型，这些模型可能会规避棘手的时间复杂性。我们的一阶算法是使用经典镜下降二元性的新型量子概括得出的。两种结果都需要特殊的度量选择，即Bogoliubov-Kubo-Mori度量。为了从数值上测试我们提出的算法，我们将它们的性能与现有基准进行了关于横向场ISING模型的量子Gibbs采样任务的现有基准。最后，我们提出了一种初始化策略，利用几何局部性来建模状态的序列（例如量子 - 故事过程）的序列。我们从经验上证明了它在实际和想象的时间演化的经验上，同时定义了更广泛的潜在应用。
translated by 谷歌翻译
语言模型既展示了定量的改进，又展示了新的定性功能，随着规模的增加。尽管它们具有潜在的变革性影响，但这些新能力的特征却很差。为了为未来的研究提供信息，为破坏性的新模型能力做准备，并改善社会有害的效果，至关重要的是，我们必须了解目前和近乎未来的能力和语言模型的局限性。为了应对这一挑战，我们介绍了超越模仿游戏基准（Big Bench）。 Big Bench目前由204个任务组成，由132家机构的442位作者贡献。任务主题是多样的，从语言学，儿童发展，数学，常识性推理，生物学，物理学，社会偏见，软件开发等等。 Big-Bench专注于被认为超出当前语言模型的功能的任务。我们评估了OpenAI的GPT型号，Google内部密集变压器体系结构和大型基础上的开关稀疏变压器的行为，跨越了数百万到数十亿个参数。此外，一个人类专家评估者团队执行了所有任务，以提供强大的基准。研究结果包括：模型性能和校准都随规模改善，但绝对的术语（以及与评估者的性能相比）；在模型类中的性能非常相似，尽管带有稀疏性。逐渐和预测的任务通常涉及大量知识或记忆成分，而在临界规模上表现出“突破性”行为的任务通常涉及多个步骤或组成部分或脆性指标；社交偏见通常会随着含糊不清的环境而随着规模而增加，但这可以通过提示来改善。
translated by 谷歌翻译
语义图像细分是通过训练深层模型来解决的。由于受监督的训练借鉴了基于人类的图像标签的诅咒，因此使用具有自动生成地面真实的合成图像以及未标记的现实世界图像是一种有希望的选择。这意味着解决无监督的域适应性（UDA）问题。在本文中，我们为语义分割模型的合成器UDA提出了一个新的共同训练过程。首先，我们设计了一个提供两个初始模型的自我训练过程。然后，我们继续以协作方式培训这些模型，以获得最终模型。总体过程将深层模型视为黑匣子，并在伪标记的目标图像级别上驱动其协作，即，不需要修改损失函数，也不需要明确的特征对齐。我们测试有关标准合成和现实世界数据集的建议。我们的共同训练显示了MIOU比基线的15-20个百分点的改善，因此建立了新的最先进的结果。
translated by 谷歌翻译